「當代資料工程與資料分析」終於來到了結尾，在此處，我們除了做個總結之外，也一併討論資料應用在企業的趨勢與挑戰。

現代資料棧出現的意義

Day 1 ~ Day 23 介紹了現代資料棧 (modern data stack)。現代資料棧並不是單一的一項科技，也不是單一一家公司主導而誕生的，可以說是有無數家公司都面臨了處理資料的種種挑戰之後，在一代又一代的實驗與知識交流、碰撞之後，才產生這樣子的解決方案。

這個解決方案的出現，帶來的重大意義是：資料分析的民主化。

過去許多小規模的公司可以講，因為公司小、沒有能力建立資料團隊、沒有辦法利用雲端資料倉儲、沒有能力處理大量的資料、所以只能用 Excel 、只能用套裝軟體、所以只能使用最粗淺的報表這些理由，在現代資料棧出現之後，這些理由都不再成立。在成功使用現代資料棧的前提之下，就算是一人資料工程團隊，也有可能處理完巨量的資料、做出自動化的複雜報表。也因此，要做資料分析，變成是幾乎任何規模的公司都有辦法做了。

Blog 的出現，帶來了發表文字的民主化，因為人人都可以寫 Blog；YouTube 之類的平台出現，帶來了發表影音的民主化，因為人人都可以當 youtuber；現代資料棧的出現，讓所有的企業都可以做資料分析，而且可以是幾乎極大規模的資料。

資料應用的投資報酬率

Day 24 ~ Day 25 介紹了種種資料的實務應用，也順便提到了資料處理之中，相對少用的一些問題與解決方案，比方說：Reverse ETL, streaming, SQL engine, in-database analytics 還有圖學資料庫 (graph database)。

對少見的問題也有成熟解決方案意謂著，已經有太多的公司為了資料應用做了大筆的投資，也因此形成了資料解決方案的產業鏈。換言之，此時此刻，企業對資料處理、資料分析做出少量的投資，可以得到的成果，可能是十年前的十倍以上，原因是這些資料工具的成熟化、還有資料相關知識的普及化。

總是還是找得到一些資料相關問題，很可能就在身邊出現，卻沒有合用的工具去加以處理。對這些問題來設計解決方案，往往也是絕佳的創新機會。

利用資料改善管理

Day 26 ~ Day 29 介紹了種種分析方法的實務應用，除了基本的分析方法之外，也舉實際例子討論了資料分析在企業管理的應用，特別是利用分析找出不明顯性質。

與企業經營相關、重要但是不明顯的性質，如果透過資料分析，而可以快速呈現給經營者甚至所有同仁看到，一些本來怎麼講都講不清楚的管理難題，就有機會迎刃而解。

趨勢與挑戰

趨勢方面，根據筆者協助客戶解決資料問題的經驗，我觀察到幾個現象：

1. 在許多公司裡，資料部門的重要性上昇、開始擴編，甚至有些公司出現獨立的 AI 部門。
2. 在對重要但不明顯的性質設法建立指標方面：現代許多大企業開始設法建立 ESG 指標。愈來愈多企業在經營上，透過資料來做更精細的管理，比方說，應用軟體去蒐集使用者行為，以設法變得更加用戶導向等。
3. 在資料的應用方面，做「看得見的事」而非「真正會有效果的事」，依然常常發生。

那挑戰又有什麼呢？

有應用資料卻沒有效果

在許多的企業高層，圍繞他們的資訊管道會不停地傳遞新知識、報導新潮流，同時，他們也身負責任，要帶領企業不停地進步。企業高層處於這樣子的知識焦慮之中時，他們很可能會混淆了「發明」與「創新」的差異。一旦企業高層對於發明與創新有所混淆，又或是給予不明確的指示時，那下屬就很有可能為了投其所好、便宜行事，進而提交「有應用資料卻不會產生實質效果」的計畫。

企業真正需要的東西是創新、而非發明。而創新並非是為賦新詞強說愁式的刻意應用新知識又或是靈光一現的別出心裁 (ingenuity)，而是源自於對既有的工作、環境之中細微變化的深刻洞見 (insight) 。

資料部門面對的管理難題

資料部門的知識工作者相對於一般的知識工作者，知識的含量更是極高，可以說是同時處於軟體知識、統計知識、領域專業知識 (domain know-how) 的交集。他們自己本身也是面對著種種的挑戰：

• 如何確保自己的知識跟得上時代？
• 如何克服冒牌者心態 (imposter syndrome)？
• 當做出了有意義的洞見 (insights) 又或是有用的工具，比方說，現代資料棧，如何讓組織裡的其它成員也願意一起使用？

我們知道，資料部門常常負責提供資料來為其它部門或是經營者提供洞見、解答疑惑，那資料部門的知識工作是否也能同樣應用資料來為自己面對的種種難題提供洞見、解答疑惑呢？

其它資源

1. 對 dbt 或 data 有興趣 👋？歡迎加入 dbt community 到 #local-taipei 找我們，也有實體 Meetup 請到 dbt Taipei Meetup 報名參加

2. 歡迎訂閱 PruningSuccess 電子報，主要談論軟體開發、資料處理、資料分析等議題。